Năm 1925, ông theo Nguyễn Công Thu đến Quảng Châu. Ông được nhập vào gia đình họ Lý của Lý Thụy (tức Hồ Chí Minh), gồm Lý Tống (Phạm Văn Đồng), Lý Tự Trọng, Lý Quý (Trần Phú), Lý Trí Phương (Nguyễn Thị Minh Khai) và một số người khác. Ông được Hồ Chí Minh đặt tên cho là Lý Anh Tự và được học lớp chính trị khóa hai cùng Phạm Văn Đồng, Hoàng Văn Hoan. Tại đây, Vũ Nguyên Bác gia nhập Hội Việt Nam Cách mạng Thanh niên. Đầu năm 1926, ông được cử đi học Trường Sĩ quan Hoàng Phố cùng với Lê Hồng Phong, Phùng Chí Kiên, Lê Thiết Hùng. Trong thời gian học, ông gia nhập Quốc Dân Đảng Trung Quốc.

Tháng 4 năm 1927, Quốc Dân Đảng do Tưởng Giới Thạch lãnh đạo làm chính biến, đàn áp Đảng Cộng sản Trung Quốc. Ông bỏ khỏi hàng ngũ Quốc Dân Đảng, gia nhập Đảng Cộng sản Trung Quốc vào tháng 8 năm 1927. Tháng 12 năm 1927, ông tham gia Khởi nghĩa Quảng Châu, gia nhập Đoàn giáo đạo 4, Phương diện quân số 2 do Diệp Kiếm Anh chỉ huy. Sau ba ngày chiến đấu, cuộc khởi nghĩa thất bại, ông bị lộ là đảng viên cộng sản. Để tránh khủng bố trắng, ông phải rời Quảng Châu sang Thái Lan và tổ chức Việt kiều tham gia cách mạng.

Năm 1928 ông trở lại Trung Quốc, tham gia Hồng quân Công Nông (工農紅軍). Năm 1929, ông giữ chức vụ chính trị viên đại đội trong Trung đoàn 47, chỉ huy đại đội đánh nhiều trận ở Đông Giang. Trong thời gian này ông lấy bí danh là Hồng Thủy (洪水).

Ông là sĩ quan người nước ngoài duy nhất của Quân Giải phóng Nhân dân Trung Quốc, từng làm Chính ủy trung đoàn, Chủ nhiệm chính trị Sư đoàn 34 thuộc Quân đoàn 12 Hồng quân Trung Quốc. Do có nhiều kinh nghiệm thực tiễn và trình độ lý luận, ông được điều động đến giảng dạy tại Trường Quân sự Chính trị Trung ương của Hồng quân mới được thành lập ở Thụy Kim. Cuối năm 1932 ông còn tham gia thành lập đoàn kịch đầu tiên của Hồng quân công nông và làm Đoàn trưởng.

Tháng 1 năm 1934, tại Đại hội Đại biểu toàn quốc nước Cộng hòa Xô viết Trung Hoa lần thứ hai, Hồng Thủy được bầu là Ủy viên Ban chấp hành Trung ương Đảng Cộng sản nước Cộng hòa Xô viết Trung Hoa với tư cách là đại biểu "dân tộc ít người", Ủy viên Chính phủ dân chủ công nông ở Khu Xô viết Trung ương.

Do đường lối tả khuynh thắng thế trong Đảng Cộng sản Trung Quốc, trong thời kỳ 1933-1938 ông đã từng ba lần bị khai trừ khỏi Đảng Cộng sản Trung Quốc, rồi lại được phục hồi đảng tịch.

Tháng 10 năm 1934, ông tham dự cuộc Vạn lý Trường chinh. Thời gian này, ông bị Trương Quốc Đào vu cáo là "gián điệp quốc tế", bị khai trừ khỏi Đảng và suýt bị giết hại. Ông may mắn được Chu Đức và Lưu Bá Thừa che chở nên thoát nạn. Hồng Thủy là người Việt Nam duy nhất đã đi hết cuộc Vạn lý Trường chinh của Hồng quân.

Tháng 12 năm 1935, ông về đến Diên An sau nhiều ngày bị lạc. Tiếp đó ông được vào học khóa một Trường Đại học Hồng quân Trung Quốc tại Ngõa Gia Bào, Thiểm Bắc (sau chuyển về Bảo An, Thiểm Tây), trực tiếp nghe Mao Trạch Đông và Chu Ân Lai giảng bài.

Tháng 7 năm 1937, bắt đầu thời kỳ chiến tranh chống Nhật, ông theo Tổng tư lệnh Chu Đức cùng Sư đoàn 115 Bát Lộ Quân vượt sông Hoàng Hà đến Sơn Tây lập căn cứ chống Nhật ở Ngũ Đài sơn. Ông được bổ nhiệm làm bí thư khu ủy Đông Dã, Trưởng ban Tuyên truyền Địa ủy Đông Bắc Sơn Tây. Tại Ngũ Đài sơn, năm 1938 ông đã gặp và kết hôn với bà Trần Kiếm Qua, (tên thật là Trần Ngọc Anh, tên Kiếm Qua do chính ông gợi ý đổi cho bà). Ông bà sinh được hai người con trai, không kể một người con gái mất sau khi mới một tuần tuổi.

Cũng tại Ngũ Đài sơn, vì phản đối Diêm Tích Sơn, một "lãnh chúa" ở Sơn Tây, ông bị vu oan, lần thứ ba bị khai trừ Đảng, chuyển về trường Quân chính Hồng quân, nhưng đã được khôi phục đảng tịch ngay trong cuối năm đó.

Năm 1938 ông được giao đảm nhận chức Tổng Biên tập báo Kháng Địch biên khu Tấn Sát Ký.

Tháng 2 năm 1939 ông được điều về làm Phó Chủ nhiệm Khoa giáo dục chính trị tại Phân hiệu 2 Đại học kháng Nhật ở Hàn Tín Đài, Linh Thọ, Hà Bắc, Trung Quốc.